Введение в генеративное моделирование: выход за рамки дискриминации

Мы переходим от дискриминативного моделирования, которое решает задачи классификации и регрессии путем обучения условной вероятности $P(y|x)$, к сложной области генеративного моделирования. Теперь наша основная цель — это оценка плотности распределения: оценка полного базового распределения данных $P(x)$. Это фундаментальное изменение позволяет нам уловить тонкие зависимости и сложную структуру в высокоразмерных наборах данных, выйдя за рамки простого разделения границ и достигая настоящего понимания и синтеза данных.

1. Цель генеративного моделирования: моделирование $P(x)$

Цель генеративной модели — оценить вероятностное распределение $P(x)$, из которого произошли обучающие данные $X$. Успешная генеративная модель может выполнять три важнейшие задачи: (1) Оценка плотности (присвоение вероятностного значения входному $x$), (2) Выборка (генерация полностью новых точек данных $x_{new} \sim P(x)$), и (3) Обучение признаков без учителя (обнаружение осмысленных, раздельных представлений в скрытом пространстве).

2. Классификация: явная против неявной функции правдоподобия

Генеративные модели по своей сути делятся на две категории в зависимости от подхода к функции правдоподобия. Явные модели плотности, такие как вариационные автоэнкодеры (VAE) и модели потока, определяют математическую функцию правдоподобия и пытаются максимизировать её (или её нижнюю границу). Неявные модели плотности, наиболее известны генеративные состязательные сети (GAN), полностью игнорируют вычисление функции правдоподобия, вместо этого обучаясь функции отображения для выборки из распределения $P(x)$ с использованием адверсарного метода обучения.

Data Synthesis and Feature Interpolation

Generative models demonstrate their capability by generating novel, high-fidelity instances (e.g., unseen faces, complex textures) or by allowing semantic interpolation in the learned latent space, illustrating the model's grasp of data variability.

Examples of AI-generated faces and interpolated features.

Question 1

In generative modeling, what is the primary distribution of interest?

$P(x)$

$P(y|x)$

$P(x|y)$

$P(y)$

Question 2

Which type of generative model relies on adversarial training and avoids defining an explicit likelihood function?

Variational Autoencoder (VAE)

Autoregressive Model

Generative Adversarial Network (GAN)

Gaussian Mixture Model (GMM)

Challenge: Anomaly Detection

Leveraging Density Estimation

A financial institution has trained an explicit density generative model $G$ on millions of legitimate transaction records. A new transaction $x_{new}$ arrives.

Goal: Determine if $x_{new}$ is an anomaly (fraud).

Step 1

Based on the density estimate of $P(x)$, what statistical measure must be evaluated for $x_{new}$ to flag it as anomalous?

Solution:
The model must evaluate the probability (or likelihood) $P(x_{new})$. If $P(x_{new})$ falls below a predefined threshold $\tau$, meaning the new point is statistically improbable under the learned distribution of normal transactions, it is flagged as an anomaly.